EM^2Mem: Event-Centric Multimodal Memory for Large Language Models
EM^2Mem：面向大语言模型的事件中心多模态记忆
🧭 多模态 RAG · 事件索引
Zhejiang University · South China University of Technology · Lenovo Group Limited
以事件为中心组织多模态记忆，将异构证据绑定到事件锚点，提升长视频 QA 精度并大幅降低推理成本
📌 工作参考价值（3 点）
- 直播/商品视频问答：按业务事件（商品讲解、优惠发放、试用对比）建立事件索引，把对应帧、ASR、OCR、商品卡片绑定到事件 cell；检索时直接返回完整事件单元，避免 agent 在推理时拼接零散多模态片段，降低延迟与 token 开销（论文减少 63.66% tokens、4.67× 延迟）。
- 召回/证据评测：引入 strict event-level Top-K evidence recall，评估检索结果是否覆盖关键事件而非只看最终答案准确率，可用于商品知识库、直播切片或广告素材检索的离线评测。
- 用户行为记忆：将 session 内行为序列按事件（搜索、点击、加购、下单）聚合为 memory cell，绑定跨通道特征、时间与商品关系，为 LLM 推荐/导购 Agent 提供紧凑、可溯源的上下文，减少推理时的对齐成本。